Là con út trong bảy người con, Graham lớn lên trong nghèo đói ở Bargeddie, gần Coatbridge. Ông được nuôi nấng bởi mẹ của mình, Janet, sau khi cha ông, Robert Young Graham, chết vì bệnh lao và suy tim vào ngày Giáng sinh năm 1944, khi George chưa đầy một tháng tuổi. Chị gái của ông cũng chết vì bệnh lao ở tuổi 19, vào năm 1951. Khi lớn lên, Graham cho thấy tiềm năng đầy hứa hẹn một cầu thủ bóng đá, và Newcastle United, Chelsea và Aston Villa đã thể hiện sự quan tâm cho chàng trai trẻ Graham.